Flexible regression modeling with adaptive logistic basis functions

The author proposes a new method for flexible regression modeling of multi-dimensional data, where the regression function is approximated by a linear combination of logistic basis functions. The method is adaptive, selecting simple or more complex models as appropriate. The number, location, and (to some extent) shape of the basis functions are automatically determined from the data. The method is also affine invariant, so accuracy of the fit is not affected by rotation or scaling of the covariates. Squared error and absolute error criteria are both available for estimation. The latter provides a robust estimator of the conditional median function. Computation is relatively fast, particularly for large data sets, so the method is well suited for data mining applications. Un modèle de régression flexible défini à partir d’une base de fonctions logistiques adaptatives Résumé : L’auteur propose une nouvelle méthode de régression flexible pour la modélisation de données multivariées dans laquelle la fonction de régression est approchée par une combinaison linéaire de fonctions logistiques. Cette méthode adaptative permet de choisir des modèles plus ou moins complexes selon les besoins. Le nombre, la localisation et (jusqu’à un certain point) la forme des fonctions logistiques de base sont automatiquement déterminés à partir des données. La méthode étant équivariante par transformations affines, la précision de l’ajustement n’est pas affectée par une rotation ou un changement d’échelle des variables exogènes. L’estimation peut s’appuyer sur le critère de l’erreur quadratique ou absolue. Dans le second cas, on obtient un estimateur robuste de la médiane conditionnelle. La méthode se prête bien au forage de données, car les calculs nécessaires se font rapidement, même pour de grands ensembles de données.